Centaurs and Cyborgs on the Jagged Frontier
Large-Scale LLM & Work Experiment at BCG/Harvard
- 758 consultants from Boston Consulting Group
- 18 realistic consulting tasks
Those using GPT-4:
- finished 12.2% more tasks
- completed tasks 25.1% more quickly
- produced 40% higher quality results
https://pbs.twimg.com/media/F6PlR-lXUAAZxbd.jpg
GPT-4を使うことで作業が早く、クオリティが高いものが出るようになったという研究結果 https://gyazo.com/6aa645f1963e90651184b640a6120472
AIの性能とタスクの難易度を図にしたもの
GPT-4を使用した知的労働者のパフォーマンスは軒並み向上し、特に「もともと成績のよくない人」が大幅に向上するとの報告がありました。
ただし、注意すべき事実も見つかりました。
ハーバード、プリンストン、MITなどのMBA部門とボストンコンサルティンググループによる共同研究です。
○ Fabrizio Dell'Acqua et al., "Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of AI on Knowledge Worker Productivity and Quality"
知的労働はAIによって強化される代表的なものです。しかし、どれほどパフォーマンスが向上するのか定量的なデータが必要とされています。
研究者らは以下のように検証と報告を行いました。
■検証内容
① BCGのコンサルタント758名を対象とした
② コンサルタント758名を以下3つの集団に分けた
・GPT-4なし
・GPT-4あり
・GPT-4とプロンプトエンジニアリングトレーニングあり
③ 実験は以下3つのフェーズで行わた
・デモと心理的プロファイリングが行われた
・複数のタスクのパフォーマンスを評価された
・インタビューが行われた
■報告内容
① GPT-4ありの集団は以下のように優れていた
・タスクの完了数が平均で12.2%多い
・タスクの完了速度が平均で25.1%早い
・タスクの品質が平均で40%高い
② もともと成績のよくない人が目覚ましく向上した
平均パフォーマンスが閾値以下の参加者の43%が、自身のスコアを向上させることができた
（平均パフォーマンス閾値以上の参加者は17%）
■注意すべき事実
「GPT-4の能力を超えている」と思われるタスクに取り組むにあたって、「GPT-4あり」の参加者は「GPT-4なし」の参加者に比べて、正しい解決策を提供する割合が19%"低くなる"との結果がありました。
→高度なタスクに対してGPT-4に頼るだけだと、普段よりも品質が落ちる恐れがあるとも解釈できる
https://pbs.twimg.com/media/F6XQHftb0AAriEm.png